Seek: Self-Evaluative Exploration for Knowledge Retrieval
Seek:面向知识检索的自评估探索式迭代检索框架
🧭 LLM 迭代式检索与相关性反馈 ★ 深度解读
University of Waterloo · Mila – Quebec AI Institute · University of California, Berkeley · University of Toronto · Toronto Metropolitan University
训练无关的迭代检索框架,用 LLM 生成伪段落扩展 query 并分级评估反馈,突破单次检索 recall 上限
📌 工作参考价值(4 点)
- 用「LLM 生成 pseudo-passage 扩展 query → 重新召回 → LLM 分级标注」的测试时循环替代固定候选池 rerank,能在不训练排序模型的情况下找回 BM25 漏掉的商品/内容;电商搜索中可让 LLM 根据 query 生成伪商品描述、属性组合或场景描述来提升长尾和复杂约束 query 的 recall。
- 显式利用正负反馈:高分结果强化有效 facet(风格、价格带、使用场景),低分结果作为 drift 在下一轮 prompt 中抑制,而不是只做简单二值相关;可借鉴 UMBRELA 0-3 分级判断,使后续 query 扩展更精准。
- 成本控制设计可直接复用:每轮只评估 top-K 未见文档、最多 T 轮、top-K 全为最高分或连续两轮 top-K 不变时早停;工程上不需要全库 dense embedding,适合快速接入已有搜索链路。
- 最终排序采用两阶段:assessor 打过分文档按 grade 优先、未评估文档按 retriever 分数补位;对 Agent 检索工具友好,因为输出的是已评估的可解释候选池,比原始 BM25 更适合下游推理或商品推荐生成。